从0开始微调LLama2系列 (1) : 模型下载

2024-04-20 21:38| 来源: 网络整理| 查看: 265

系列文章：

KK大魔王：从0开始微调LLama2系列 (1) : 模型下载

KK大魔王：从0开始微调LLama2系列 (2) : 运行一下llama2

KK大魔王：从0开始微调LLama2系列 (3) - Lora微调

KK大魔王：从0开始微调LLama2系列 (4) - 利用DS-Chat进行全模型微调

前言

我的本职工作是后台开发，但从年初开始，ChatGPT火了之后，同事人人必言LLM(大语言模型)。最近萌生了想法，希望尝试基于llama/其他开源模型做一个领域专家型模型。

这个系列的目的是为了记录和分享自己在这个过程中总结/踩坑，第一期主要分享模型下载。

官网下载

LLama2相关权重进行了开源，可以直接去Meta官网进行申请，填写邮箱后会收到一个链接。

邮件里给出了如何下载模型的详细步骤，包含有7B、13B、70B大小的两种模型。

第一步需要去克隆llama官方的github项目第二步执行项目下的下载脚本，并填入邮件里给出的链接第三步填入需要下载的模型Hugging Face下载

注：hugging face下载模型的前提也是在Meta官网提交了申请，并且注意hugging face账号的邮箱需要与在官网申请时候填写的邮箱一致

Git Lfs 下载

安装Git Lfs，可以支持大文件下载。官网

如果你使用的是Macos，并且安装了Homebrewbrew install git-lfs如果你使用的是Ubuntucurl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs

安装完成之后，直接克隆整个项目

# Make sure you have git-lfs installed (https://git-lfs.com) git lfs install git clone https://huggingface.co/meta-llama/Llama-2-7bHugging Face脚本

你也可以使用hugging face的Library来下载。但推荐你使用的是Linux系统。

首先你需要安装hugging face命令行工具

pip install huggingface_hub

通过命令行登陆Hugging Face

huggingface-cli login

填入账号token

下载模型脚本

# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf") model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")问题记录网络问题

国内无论是访问Github或Hugging Face都存在剧烈的网络波动(你懂就行)问题. 因此如果你下载原版的LLAMA2模型有问题，推荐一下这个-中文LLAMA项目。该项目提供了中文微调之后的模型权重，并支持百度网盘下载。

【本文地址】

公司简介

联系我们